Công tước Jerzy Iwanowicz Ilinicz bắt đầu xây đựng lâu đài gần ngôi làng Mir theo phong cách kiến trúc Gothic từ cuối thế kỷ thứ 15 và hoàn tất vào đầu thế kỷ 16. Khoảng năm 1568 lâu đài Mir chuyển nhượng cho Công tước Radvila của đại công quốc Litva. Vị công tước này đã hoàn thành việc xây dựng lâu đài theo phong cách kiến trúc Phục Hưng. Một dinh 3 tầng được xây dọc theo các tường phía đông và phía bắc của lâu đài. Các bề mặt tô vữa được trang trí bằng các đòn ngang, các cửa, các cổng vòm và bao lơn bằng đá vôi.

Trong thời Napoléon, lâu đài này đã bị bỏ hoang gần 1 thế kỷ và bị hư hại nghiêm trọng. Tới cuối thế kỷ 19, lâu đài này mới được tu bổ. Năm 1813, sau khi Dominik Radzivil từ trần, lâu đài được trao cho người con gái là Stefania, kết hôn với Ludwig zu Sayn-Wittgenstein-Berleburg. Sau đó chuyển sang tay con gái của họ là Maria, kết hôn với hoàng tử Chlodwig Hohenloche-Schillingsfürst. Năm 1895, con trai của họ là Maurice Hohenloche-Schillingsfürst bán lâu đài cho Nikolaj Sviatopolk-Mirski của thị tộc Bialynia. Con trai của Nikolaj Sviatopolk-Mirski là Michail bắt đầu xây dựng lại lâu đài theo bản thiết kế của kiến trúc sư Teodor Bursze. Gia dình Sviatopolk-Mirski sở hữu lâu đài này cho tới năm 1939.

Trong thế chiến thứ hai, lâu đài này bị lực lượng chiếm đóng Đức quốc xã chiếm dụng làm ghetto cho các người Do thái địa phương, trước khi thanh toán họ.